Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
由于自动驾驶技术的局限性，远程运行被广泛用于诸如军事行动之类的危险环境中。但是，远程手工的驾驶性能在很大程度上取决于驾驶员的技能水平。此外，非熟练驾驶员需要大量的培训时间，以在不寻常和严峻的环境中进行遥控。为了解决这个问题，我们提出了一种新颖的基于Denoising的驾驶员协助方法，即Goondae，用于实时远程驾驶。假定非熟练的驾驶员控制输入与熟练的驾驶员控制输入相同，但噪声相同。我们设计了一个基于跳过的长短期内存（LSTM）的Denoising自动编码器（DAE）模型，以通过Denoising来帮助非熟练的驾驶员控制输入。拟议的Goondae接受了从我们模拟的越野驾驶环境中收集的熟练驾驶员控制输入和传感器数据的培训。为了评估Goondae，我们在模拟环境中对非熟练驱动器进行了实验。结果表明，在驾驶稳定性方面，提出的系统大大提高了驾驶性能。
translated by 谷歌翻译
虽然可以通过对位渠道进行排序来有效地实现连续策略解码的极性代码，但以有效且可扩展的方式为连续策略列表（SCL）解码找到最佳的极性代码结构，但仍在等待研究。本文提出了一个基于图形神经网络（GNN）基于迭代消息通话（IMP）算法的强化算法，以解决SCL解码的极性代码构建问题。该算法仅在极地代码的生成器矩阵诱导的图的局部结构上运行。 IMP模型的大小独立于区块长度和代码速率，从而使其可扩展到具有长块长度的极性代码。此外，单个受过训练的IMP模型可以直接应用于广泛的目标区块长度，代码速率和渠道条件，并且可以生成相应的极性代码，而无需单独的训练。数值实验表明，IMP算法找到了极性代码构建体，这些构建体在环状划分 - 检查辅助辅助AD的SCL（CA-SCL）解码下显着优于经典构建体。与针对SCL/CA-SCL解码量身定制的其他基于学习的施工方法相比，IMP算法构建具有可比或较低帧错误率的极地代码，同时通过消除每个目标阻止长度的单独训练的需求，从而大大降低了训练的复杂性，代码速率和通道状况。
translated by 谷歌翻译
产品图像对于在电子商务平台中提供理想的用户体验至关重要。对于拥有数十亿种产品的平台，手动挑选和组织合格的图像非常耗时且耗尽劳动力。此外，要生成/选择的产品图像需要遵守众多且复杂的图像规则。为了解决这些挑战，在本文中，我们提出了一个新的学习框架，以便在电子商务中自动生成产品图像序列（AGPI）。为此，我们提出了一个多模式统一的图像序列分类器（MUISC），该分类器能够通过学习同时检测所有规则违规的类别。 MUISC利用文本审查反馈作为额外的培训目标，并利用产品文本描述提供额外的语义信息。根据离线评估，我们表明拟议的MUISC显着优于各种基线。除MUISC外，我们还将其他一些重要的模块集成在提出的框架中，例如主图像选择，不合格的内容检测和图像重复数据删除。借助所有这些模块，我们的框架在JD.com推荐平台中有效，有效地工作。到2021年12月，我们的AGPIS框架为约150万种产品生成了高标准图像，并获得了13.6％的拒绝率。
translated by 谷歌翻译
在过去的十年中，电子商务的自动产品描述生成已经取得了重大进步。产品文案旨在通过通过文本描述突出产品特征来吸引用户的兴趣并改善用户体验。随着电子商务平台提供的服务变得多样化，有必要动态地调整自动生成描述的模式。在本文中，我们将基于电子商务前缀的可控文案生成（EPCCG）系统部署到JD.com电子商务产品推荐平台中的经验。系统的开发包含两个主要组成部分：1）文案写作方面提取； 2）弱监督的方面标签； 3）具有基于前缀的语言模型的文本生成； 4）文案写作质量控制。我们进行实验以验证拟议的EPCCG的有效性。此外，我们将与EPCCG合作的已部署架构介绍到实时JD.com电子商务推荐平台以及部署以来的巨大回报。
translated by 谷歌翻译
尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。
translated by 谷歌翻译
钢筋学习最近在许多组合优化问题中显示了学习质量解决方案的承诺。特别地，基于注意的编码器 - 解码器模型在各种路由问题上显示出高效率，包括旅行推销员问题（TSP）。不幸的是，它们对具有无人机（TSP-D）的TSP表现不佳，需要在协调中路由车辆的异构队列 - 卡车和无人机。在TSP-D中，这两个车辆正在串联移动，并且可能需要在用于其他车辆的节点上等待加入。不那么关注的基于关注的解码器无法在车辆之间进行这种协调。我们提出了一种注意力编码器-LSTM解码器混合模型，其中解码器的隐藏状态可以代表所做的动作序列。我们经验证明，这种混合模型可提高基于纯粹的关注的模型，用于解决方案质量和计算效率。我们对MIN-MAX电容车辆路由问题（MMCVRP）的实验还确认混合模型更适合于多车辆的协调路由而不是基于注意的模型。
translated by 谷歌翻译
我们提出了一种新的域特定的生成预训练（DS-GPT）方法，用于文本生成，并将其应用于电子商务移动显示器上的产品Titleand审查总结问题。首先，我们采用了仅限解码器的变压器体系结构，该架构Fitswell通过组合输入和输出全部携带的微调任务。其次，我们在相关域中仅使用少量预训练数据是强大的。预先训练从一般语料库中的矛盾，如维基百科或通用需要巨大的时间和资源承诺，如果下游任务有限。 OUDSGPT在Limble DataSet中预先培训，中文短篇演示数据集（LCSTS）。第三，我们的模型不要求相关的人类标记数据。对于标题摘要任务，艺术状态明确地使用额外的背景知识训练和预测阶段。相比之下，我们的模型暗示 - 在公共Taobao.comDataset上微调后，旨在捕获这种知识并实现了重要的改进其他方法。对于审查摘要任务，我们利用JD.com在-UteedAtaset上，并观察到缺乏微调灵活性的标准机械进程方法的类似改进。我们的工作可以简单地扩展到其他文本生成任务的域。
translated by 谷歌翻译
由于自我关注模块的二次空间和时间复杂性，基于变压器的模型在处理长序列中是不高的。为了解决此限制，建议通过分别通过低维投影和行选择来降低线性（模数对数因子）的二次复杂度。这两种型号本质上连接，并了解他们的连接，我们介绍了矩阵素描的理论框架。基于理论分析，我们提出了Skeinformer加速自我关注，进一步提高了三个精心设计的组件的自我关注的准确性：列采样，自适应行标准化和飞行员采样重新利用。关于长距离竞技场（LRA）基准的实验表明，我们的方法以始终如一的较小时间/空间占地面积优于替代方案。
translated by 谷歌翻译
2021-12-03
本文旨在探讨神经架构搜索（NAS）的可行性仅在不使用任何原始训练数据的情况下给出预先训练的模型。这是实质保护，偏离避免等的重要情况。为实现这一目标，我们首先通过从预先训练的深神经网络中恢复知识来综合可用数据。然后我们使用合成数据及其预测的软标签来指导神经结构搜索。我们确定NAS任务需要具有足够的语义，多样性和来自自然图像的最小域间隙的合成数据（我们在此处瞄准）。对于语义，我们提出了递归标签校准，以产生更多的信息性输出。对于多样性，我们提出了一个区域更新策略，以产生更多样化和富集的合成数据。对于最小的域间隙，我们使用输入和特征级正则化来模拟潜在空间的原始数据分布。我们将我们提出的三个流行NAS算法实例化：飞镖，Proxylessnas和Spos。令人惊讶的是，我们的结果表明，通过搜索我们的合成数据来实现的架构，实现了与从原始的架构中搜索的架构相当的准确性，首次导出了NAS可以有效完成的结论如果合成方法设计良好，则无需访问原件或称为自然数据。我们的代码将公开提供。
translated by 谷歌翻译